Program-as-Weights: A Programming Paradigm for Fuzzy Functions
权重即程序:一种模糊函数的编程范式
🧭 编译器-解释器范式 · 模糊函数编译为 LoRA ★ 深度解读
University of Waterloo · Cornell University · Harvard University
用 4B 编译器将模糊任务规格编译成小 LoRA 程序,0.6B 解释器执行可超 32B 模型提示且省 50× 内存
📌 工作参考价值(4 点)
- 模糊函数本地化:将需要反复调用的模糊判断(如意图分类、文案审核、查询质量过滤)编译为 0.6B + LoRA 小程序,在本地 CPU/GPU 上以 30 tok/s 运行,摆脱对 API 的依赖,成本与延迟骤降。
- 编译器-解释器架构:借鉴其“编译一次,本地无限执行”的模式,对固定模糊任务(如搜索意图重排的打分函数)可事先用 4B 模型生成 LoRA 权重,后续调用只需加载 23MB 适配器,无需远程调用。
- 伪程序去噪:他们在规格输入阶段用 4B 编译器将噪声规格重述为清晰伪程序,再喂给小解释器,大幅提升小模型对错别字、口语化规格的鲁棒性。在用户输入的任务描述不规范时可采用类似预处理。
- 工具调用管道:论文中将多个 PAW 程序串联实现复杂的工具路由(93% 准确率),可类比推荐系统中的多步预处理或过滤管线,每个环节编译为独立 LoRA,按需组合,灵活升级。